# -*- coding: utf-8 -*-
# @Time        :2024/10/30 下午6:05
# @Author      :文刀水寿
# @File        : 03_数据计算_map.py
"""
 @Description :演示RDD的map成员方法（算子）的使用
 将RDD的数据一条条处理(处理的逻辑基于map算子中接收的处理函数，返回新的RDD)
"""
from pyspark import SparkConf, SparkContext
import os

os.environ['PYSPARK_PYTHON'] = "D:/Python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 准备一个RDD
rdd = sc.parallelize([1, 2, 3, 4, 5])

# 通过map方法将全部数据都乘以10

# def func(data):
#     return data * 10
#
#
# rdd2 = rdd.map(func)
rdd2 = rdd.map(lambda x: x * 10)

# 链式调用
rdd2 = rdd.map(lambda data: data * 10).map(lambda x: x + 5)
print(rdd2.collect())
